1
고급 생성형 AI의 전망
PolyU COMP5511Lesson 11
00:00

전망은 고급 생성형 AI 고립된 단일 모델에서 다층적 생태계로 진화하여 복합형 AI 시스템이 변화는 단순한 확률적 토큰 예측에서 벗어나 기초 모델(FM), 모듈형 플러그인, 그리고 다중 모달 합성 등을 조율하는 시스템으로 이동한다.

컴퓨팅/클라우드 인프라LLMs확산음성/코드조율 및 능동형 계층

생성 스택 분류 체계

  • 인프라 계층: 트레이닝과 고속 추론에 필요한 대규모 컴퓨팅을 제공하는 하드웨어 백본(GPUs/TPUs) 및 클라우드 서비스이다.
  • 모델 계층: 다양한 모달리티를 위한 전문 엔진으로 작용하는 기초 모델(FMs)인 GPT-4, Llama 3, Stable Diffusion 등이다.
  • 조율 계층: 로직, 데이터 흐름, 검색을 관리하는 프레임워크로, 모델을 "고정된" 가중치에서 실시간 맥락 인식을 갖춘 시스템으로 전환한다.

모달리티 통합

기술적 추세는 주로 트랜스포머와 확산 모델을 중심으로 아키텍처를 통합하여 공유 잠재 공간을 가능하게 한다. 이를 통해 텍스트, 이미지, 영상이 연속적인 정보 흐름으로 취급되는 단일 통합 인터페이스가 가능해지고, 수학적으로는 서로 다른 잠재 매니폴드 $M_{text} \leftrightarrow M_{visual}$ 사이의 매핑으로 표현된다.

구조적 진화
우리는 단순히 학습 데이터 파라미터 $\theta$에 의존하는 "폐쇄책" 모델에서, 외부 환경 상태 $E$를 사용하여 $P(y|x, E)$를 통해 복잡한 추론 작업을 해결하는 "개방책" 시스템으로 이동하고 있다.
파이썬 구현